Het kasteel Casier werd tussen 1847 en 1852 gebouwd in neoclassicistische stijl in opdracht van het echtpaar Felix Deruyck en Nathalie Storme. Na hun dood gingen de eigendommen over naar hun nichtje Marie-Victorine Storme die gehuwd was met baron Victor Casier.
De Casiers resideerden in Gent. Het kasteel in Waregem diende als zomerresidentie.
Tijdens de laatste dagen van de Eerste Wereldoorlog raakten het kasteel en het koetshuis zwaar beschadigd. In 1919 werd het kasteel hersteld en tegelijk uitgebreid met een zuidelijke vleugel met mansardedak.
De gemeente Waregem kocht het park met kasteel aan in 1977. Na aanpassings- en herstellingswerken werd het domein opengesteld voor het publiek. Vanaf 1983 is er in het kasteel een bar-bistro ondergebracht, die intussen grondig werd gerenoveerd.